Thư viện được xây dựng trong nhiều giai đoạn bắt đầu từ năm 1933, từ khi bắt đầu khiêm tốn như là một bộ sưu tập cá nhân. Ngay sau đó, với sự trợ giúp của người dân địa phương, nó đã trở thành một thư viện đầy đủ. Thư viện cũng đã trở thành kho lưu trữ các tài liệu lưu trữ được viết bằng bản thảo bằng cọ, bản gốc của các tài liệu lịch sử quan trọng trong khu vực trong lịch sử chính trị của Sri Lanka và các tờ báo đã được xuất bản cách đây hàng trăm năm ở bán đảo Jaffna. Do đó nó đã trở thành một nơi có tầm quan trọng mang tính biểu tượng và lịch sử đối với tất cả người Sri Lanka.[4][5]

Cuối cùng cánh chính đầu tiên của thư viện được mở vào năm 1959 bởi thị trưởng thành phố Jaffna Alfred Duraiappah. Kiến trúc sư của tòa nhà kiểu Indo-Saracenic là S. Narasimhan từ Madras, Ấn Độ. Thủ thư gia Ấn Độ S.R. Ranganathan từng là cố vấn để đảm bảo rằng thư viện được xây dựng theo tiêu chuẩn quốc tế. Thư viện đã trở thành niềm tự hào của người dân địa phương vì ngay cả các nhà nghiên cứu từ Ấn Độ và các nước khác đã bắt đầu sử dụng nó vì mục đích nghiên cứu của họ.[4][5]